Learning to Learn from Context: Synthetic Training from Perturbed Public Documents
从扰动公开文档合成训练数据提升大模型上下文学习能力
🧭 LLM 合成数据与上下文学习训练
AllSpark Team
用少量扰动公开文档合成10k上下文推理样本，将35B模型CL-bench从13.7%提升至24.6%，媲美万亿参数模型
📌 工作参考价值（4 点）
- 用于电商知识库/RAG 助手训练：把产品说明、活动规则、广告政策等内部文档做同义改写/扰动，再生成需逐段推理的问答，只保留“去掉文档就答不对”的样本，可低成本造出强迫模型依赖上下文而不是记忆的数据。
- 两阶段训练：SFT 提升基础上下文跟随，再接 rubric-reward RL 用评分准则作奖励，在少量数据（10k）下把小参数 MoE 模型拉到接近大模型；适合业务中无法大规模标注的场景。
- 过滤机制可复用：用改写前后答案变化、引用证据检查等方法自动筛选高质量上下文依赖样本，避免合成数据里混入可通过参数知识回答的“伪上下文”样本；对长商品描述、多轮 Agent 工具结果等场景尤其有价值。
- 观察到的迁移：改进集中在长上下文理解、指令遵循和推理，对代码和知识影响小。如果业务目标是让模型在复杂上下文里做推荐决策/政策合规，可比通用知识注入更精准。